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Melhor e Pior? 
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Resumo Aula Anterior 



• Avaliacao com utilizadores 

- Local (Laboratories Ambiente de trabalho) 

-Utilizadores 

-Metodos de avaliacao 

• Observacao 

• Interrogacao e Entrevista 

• Monitorizacao fisiologica 
-Videos de exemplos de avaliacao 
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Sumario 



• Testes com utilizadores 

• Fases do Teste 

• Analise dos dados por metodos 
estatisticos 

- Teste t 

-Intervalos de Confianca 

-Chi Quadrado 
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Antes dos Testes (Planear) 



• O piano de testes deve ser definido 
antes de comecar os testes: 
-Objectivo do teste: O que se pretende 

atingir? 
-Onde e quando serao os testes? 
-Quanto durara cada sessao de testes? 
-Qual o equipamento necessario? 
-Qual o software que e necessario para o 

teste? 
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Antes dos Testes 



• Qual deve ser o estado do sistema no inicio 
do teste? 

• Qual deve ser a carga e tempo de resposta 
do sistema? 

• Quern ira conduzir os testes? 

• Quern serao os utilizadores que farao os 
testes e como os arranjaremos? 

• Quantos utilizadores serao necessarios? 

• Que tarefas serao pedidas aos utilizadores? 
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Antes dos Testes 



• Que criterio sera usado para determinar o fim da 
execugao de uma tarefa correctamente? 

• Que ajudas (manuais, ajuda online, etc.) estarao 
disponiveis ao utilizador durante os testes? 

• Em que medida se pode ajudar os utilizadores 
durante os testes? 

• Que dados irao ser recolhidos e como serao 
analisados? 

• Qual sera o criterio que dira que a interface e um 
sucesso? 
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Testes Piloto 



• Nao fazer testes sem antes experimentar os 
procedimentos com 1 ou 2 sujeitos piloto 

- Qualquer pessoa, nao precisa de pertencer aos 
potenciais utilizadores 

- Instrucoes para os testes sao compreensiveis? 

- Questionarios? 

- tempo planeado para cada tarefa e realista? 

- Refinar o procedimento experimental e clarificar 
aquilo que se vai medir (ex. que e um erro) 
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Ex. de Protocolo Experimental 
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Fases do Teste 




1. Preparagao 


2. Introdugao 




3. Realizagao do Teste 




4. Debriefing 
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Preparagao 



• Durante a preparagao da experiencia, o 
coordenador deve assegurar que: 

- A sala de testes esta pronta 

- sistema esta no estado planeado 

- Todo o material para testes esta disponivel 
(instrucoes, questionarios) 

- Preparar tudo antes da chegada do utilizador 

• Desligar screensavers e outros programas que 
podem interromper (Msn, Skype, email, etc.) 
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Introdugao 



• O coordenador dos testes 
-Da as boas vindas ao utilizador 
- Explica brevemente o proposito dos testes 
-Explica o procedimento dos testes 
-Se tiver algum formulario de consentimento 
(para filmar, fotografar, etc.) deve ser 
apresentado na introdugao. 
• Este deve ser curto e usar linguagem simples e 
acessivel ao utilizador 
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Introdugao - Elementos a Referir 



• O objectivo e avaliar o sistema e nao o utilizador 

• Utilizador pode falar livremente sem medo de 
ferir susceptibilidades 

• Os resultados do teste serao usados para 
melhorar a interface 

• Explicar se vao gravar audio e video 

• Referir que o utilizador pode fazer as perguntas 
que quiser, mas nao durante o teste. 

• Instrugoes especificas para a experiencia a 
realizar (ex. Pensar em voz alta, ou realizar a 
tarefa tao rapido quanto possivel sem ajuda) 
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Durante a Realiz agao do Teste 

O coordenador 

• Nao deve 

-Interagir com o utilizador 
- Fazer comentarios 
-Ajudar o utilizador 

• Deve 

-Tomar nota das medidas de desempenho 
-Tomar nota dos comentarios e 
observacoes do utilizador 
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Medidas de Desempenho 



Medidas de Usabilidade tipicas 

- Tempo para completar uma tarefa 

- N° de tarefas concluidas num determinado 
intervalo de tempo 

- N° de erros cometidos 

- Tempo gasto a recuperar de erros 

- Relacao entre interaccoes com sucesso e erros 

- N° comandos ou funcoes usadas pelo utilizador 

- N° comandos ou funcoes que nunca foram usadas 

- N° de funcoes do sistema que o utilizador consegue 
recordar no debriefing 

- Frequencia de utilizacao de manuais ou ajudas 

- Etc. 
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Debriefing 



• Pedir ao utilizador para preencher um 
questionario de satisfagao 

- Antes de qualquer discussao sobre o sistema 

• Pedir comentarios sobre o sistema 

- Recebem-se comentarios muito diferentes 

- Mas, por vezes servem para um novo desenho 

• Coordenador do teste deve (depois do 
utilizador sair) 

- Garantir que toda a informacao recolhida esta 
identificada com o utilizador 

- Escrever um pequeno relatorio sobre a 
experiencia (enquanto tudo esta fresco) 
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Relatorio Avaliacao 




• Relatorio contendo: 


- Objectivos 




- Descricao do sistema a testar 




- Breve descricao do ambiente em 


que se fazem 


as tarefas 

- Caracteristicas dos participantes 

- Metodologia 

- Tarefas 


Mi// 


- Testes e medidas 


i^r^// 


- Analise dos dados medidos 


^^/ 
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Estatistica 

Interactive System Design, Cap. 10, 
William Newman 



Grandezas Estatisticas 



Media 




Soma dos quadrados das 
diferengas 

Graus de liberdade 
Variancia 
Desvio padrao 
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Exemplo de Teste 



• Metrica de desempenho: Execucao < = 30min 

• Teste com 6 utilizadores 

-Teste da: 20, 15, 40, 90, 10, 5 

- Media = 30 

- Desvio padrao = 32 

- Parece ok!? 

- Errado, nada se pode afirmar 

• Factores que contribuem para a incerteza? 

- Pequeno n° de utilizadores no teste (n=6) 

- Resultados muito variaveis (desvio padrao =32) 

• Desvio padrao = dispersao do valor medio (-2;62) 
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Significado Variancia/Desvio Padrao 
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Testes Estatisticos 






Experimentagao Controlada 
- Responder a: 

• Solucao A melhor que a B? 

- Tendo em conta a sua usabilidade. 

- Exemplos: 

» Alteracao no tipo de menus (PullDown vs Pie) 
» Caligrafico vs Menus 

• Solucao cumpre os objectivos? 

- Os nossos objectivos de usabilidade sao atingidos 
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Testes Estatisticos 



Procedimento 

-Escolha da populacao "significativa" 

• Publico alvo 

-Formulagao da hipotese nula (H ) 
-Realizacao dos testes 

• Recolher os dados 
-Conclusao 

• Analisar os resultados 

• Aplicar tratamento estatistico 
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Hipotese Nula e Grau de Confianca 



• Hipotese H - Hipotese Nula 

- Diz o contrario do que pretendemos 

• Ex. A mudanca de menus nao afecta o 
desempenho 

• Hipotese H^ - Hipotese experimental 

- Diz o que queremos verificar 

• Ex. Os novos menus melhoram o 
desempenho 

• Objectivo: rejeitar H e aceitar H 1 

- Demonstramos que H e falsa para um 
determinado a (valor tipico 0,05) 
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Comparar duas Alternativas 



• Experiencia entre grupos 

- Dois grupos de teste 

- Cada grupo usa apenas um dos sistemas 

• Experiencia Intragrupos 

- Um grupo de utilizadores 

• Cada pessoa usa ambos os sistemas 

• Nao podem usar as mesmas tarefas ou pela 
mesma ordem (aprendizagem) 

- Melhor para tecnicas de interaccao basicas 

• Entre grupos requer mais participantes 

• Ver se as diferencas sao estatisticamente 
significativas 

- Assume distribuicao normal & mesmo desvio padrao 
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Comparar 2 amostras 


-1 

mel 


"este de t 


Objectivo : qual das duas e 

• Variancia combinada 

• Desvio padrao da diferenga 

• Valor de t 

• Se t > tH (da tabe | a) 

- entao H e falsa (para a) 


hor 




?2 (SQ, + SQ 2 ) 
N 1 +N 1 -2 


X, -x 2 

t = — ! - 
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Tabela de t 


Degretsof a = 0.10 a =0.05 


a = 0.02 


a = om 


(two-tailed) 




fnedom a - 0.05 a 


= 0.025 


a = 0.01 


a =0.005 


(single-tailed) 




1 (..314 


12.706 


31.821 


63.656 




2 2.920 


4.303 


6.965 


9,925 






3 2.353 


3.182 


4.541 


5.841 






4 2.13Z 


2.776 


3.747 


4.604 






5 2.015 


2.571 


3365 


4.032 






6 1.943 


2.447 


.3.143 


3.707 






7 1,895 


2365 


2.998 


3.499 






S 1.860 


2.306 


2.8% 


3.355 






9 1.S33 


2,262 


2.821 


3.250 






10 1.812 


2.228 


2.764 


3.169 






11 1.796 


2.201 


2.718 


3.106 






12 1.782 


2.179 


2.681 


3.055 
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Bicaudal e Unicaudal 
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Exemplo: 


Teste de t - 


Bilheteira 

ira com Maquina 


• Objectivo: 


Comparar Bilhete 


• Hipotese nula: 




- a forma d 


e aquisicao do bilhete nao tern 


influencia 


no tempo da tarefa 




• Medidas 






- bilheteira 


28, 25, 23, 26, 30, 


32 segundos 


- maquina: 


32, 41, 37, 40, 30 segundos 


• Medias 






- bilheteira 


29 s maquina: 


36 s 
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Teste de t - Bilheteira 




IV.4 - Analise de Dados da Avaliacao 



Teste de t - Bilheteira 




• Constata-se que: 


- as duas amostras tern uma probabilidade de 


(apenas) 3,6% de serem a mesma 


amostra 


- Rejeita-se H , pois 0.036 < 0.05 ( 


ignificancia p) 


• Conclusao 




-A compra de bilhetes em maquina 


e 24% (36/29) 


mais lenta com uma probabilidade 


de 96,4% 
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Intervalo de Con fianga 

• Testar uma amostra contra um valor limite 

• Intervalo de confianga 

- 2 extremos entre os quais a media da populacao 
esta compreendida com uma dada probabilidade 



Exemplo 

- uma operacao nao deve demorar mais do que 
25s -> intervalo totalmente abaixo de 25 s 
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Intervalo de Confianga 




Mean - 


Rflqurement 

t s Mean ■ 

1 L Ccuficlence 
1 f interval 


I I Ccnlidanca 

j j ***** Mean " 

- - - - BKWfamenr 


1 I Confidence 
1 F intaval 
- " -1— r Requirement 




Evitar este 
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Intervalo de Confianga 



= y/s 2 /N 



• Calcular variancia (S 2 ) 

• Desvio padrao da media s em 

• Determinart unicaudal para a 
probabilidade pretendida e grau de 
liberdade da amostra 

• O intervalo estara compreendido entre 

^min =X- \( pg/ X S em ) 



x„ 



X + (t ,xs J 

\p,gl em / 
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Intervalo de Confianga 


(Ex.) 




• Desvio padrao da media: S em =-^9,67/4 =1,55 

• H - N° de erros superior a 15 

• Para p=0,05 t=3,182 (da tabela ou usandoTINV ()) 

• Intervalo 

- x min = 9,5 - 3,182 X 1,55 = 4,54 

- x max = 9,5 + 3,182 X 1,55 = 14,43 

• Intervalo abaixo de 15 

- Rejeitar H„ => N° erros inferior a 15 c/ 95% de certeza 
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Teste do Chi Quadrado 



• Dados correspondentes a uma ou mais 
categorias 

-Ex: determinar preferencia entre varias 
opcoes de escolha 

• Procedimento: 

-calculo da diferenca entre as frequencias 
observadas e as esperadas 

(f.-fj 



x 2 = 2- 



fe 
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Teste do Chi Quadrado (Exemplo) 






• Qual a opcao preferida de entre as 3? 

• H - Preferencia igual pelas 3 

• 30 utilizadores 


























































• Graus de liberdade: N = 3-l = 2 *~ ' 

• Da tabela obtemos 5,99 para p = 0,05 

• Rejeita-se a hipotese nula (5.99 < 6.2) 
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Tabela do chi Quadrado 





Degrees of freedom. 


a = 0,05 


a -0.01 




\ 




6.63 
421 

11.54 




4 


y.4y 


13.28 




■ 5 


11.07 


15.09 
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12.59 


16.81 
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14.(17 


18.48 
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15.51 


20.09 




9 


16.92 


21.67 




" 


18.31 


23.21 
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Chi Quadrado no Excel 










HI Microsoft Excel - Bookl 
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• 0.045 < 0.05 -> Rejeitar H 
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Escolha de metodos ou algoritmos? 



• Todas as fungoes estatfsticas estao 
disponiveis em bibliotecas: 

-Matlab, SPSS, ou mesmo Excel 

• Assim o que e preciso e saber 
escolher o metodo mais apropriado 
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Resumo 



• Os testes mais conclusivos devem ser realizados 
com utilizadores reais 

• Os testes devem ser planeados e aprovados 
previamente 

• Devem ser recolhidos dados qualitativos e 
quantitativos 

• Dados numericos so sao conclusivos se validados 
por testes estatisticos 

• Escolhido o metodo estatistico adequado 

- Usar as ferramentas existentes 
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Proxima Aula 



• Documentagao e Ajudas 

• Importancia, caracterfsticas e guia 
de estilos dos manuais 

• Manuais convencionais 

• Principios e guias para manuais 

• Ajudas Interactivas 

• Ler: HCI, Cap. 11, Alan Dix 
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